草庐IT

Root DNS 分布

全部标签

探索服务网格与 OpenTelemetry 的协同之分布式跟踪

这篇文章发出后有读者评论javaagent的“无侵入”一说,这里有必要解释下。“无侵入”主要指的是不需要修改应用程序的业务逻辑代码就能实现的功能,对应用程序透明无感知,让开发者专注于业务开发;同时由于无需修改应用程序代码,更易于集成;同时还维护简单,在多种语言、框架间保证功能的一致性。而JavaAgent在JVM启动时加载,它在运行时修改字节码来注入跟踪代码,而不是在应用程序的源代码层面上进行修改。背景分布式跟踪分布式跟踪是监控和诊断微服务请求流程的关键技术,也是可观测性的关键组成部分,提供了对微服务架构中复杂交互和性能问题的深入洞察。它通过提供服务间请求链路的清晰视图来管理复杂性,并帮助识别

这套分布式IM即时通讯系统如何写到简历上?我给你整理好了!

大家好,我是冰河~~分布式IM即时通讯系统本质上就是对线上聊天和用户的管理,针对聊天本身来说,最核心的需求就是:发送文字、图片、文件、语音、视频、消息缓存、消息存储、消息未读、已读、撤回,离线消息、历史消息、单聊、群聊,多端同步,以及其他一些需求。对用户管理来说,存在的需求包含:添加好友、查看好友列表、删除好友、查看好友信息、创建群聊、加入群聊、查看群成员信息、退出群聊、修改群昵称、拉人进群、踢人出群、解散群聊、填写群公告、修改群备注以及其他用户相关的需求等。注:拿小本子记录下,后续可以写到简历上的整合了OpenAI大模型的分布式IM即时通讯系统,从此,简历上又多了一个可以拿的出手的高并发、高

Docker部署开源分布式任务调度系统DolphinScheduler与远程访问办公

文章目录前言1.安装部署DolphinScheduler1.1启动服务2.登录DolphinScheduler界面3.安装内网穿透工具4.配置DolphinScheduler公网地址5.固定DolphinScheduler公网地址前言本篇教程和大家分享一下DolphinScheduler的安装部署及如何实现公网远程访问,结合内网穿透工具实现公网访问DolphinScheduler内网并进行远程办公,帮助开发人员进行远程任务调度及管理,提高工作效率。DolphinScheduler是一款开源的分布式任务调度系统,它可以帮助开发人员更加方便地进行任务调度和管理。DolphinScheduler支持

一文快速学会Hadoop伪分布式环境搭建,很详细

文章目录一、准备工作二、配置ssh免密登录三、修改hadoop的配置文件四、格式化namenode节点,启动hdfs,启动yarn一、准备工作配置hadoop模板虚拟机(学习篇)CentOS7安装jdkcentos7安装hadoop二、配置ssh免密登录首先使用以下命令在家目录下是否有.ssh目录ls-lah如果没有,可以使用sshlocalhost然后进入这个文件cd.ssh生成密钥ssh-keygen-trsa输入上面的代码后回车四次把公钥拷贝到本台虚拟机上面去ssh-copy-id192.168.90.105到此我们的免密登录就算是配置完成了。验证一下是否需要密码sshlocalhost

java 分布式微服务配置统一的日志输出包括logstash

在springcloud分布式微服务中,每个微服务都要配置一个日志输出文件,当微服务多起来的时候,日志输出有变动就要一个一个微服务去修改,这样使工作量增加,变得很麻烦,还有可能出现错误。对日志文件进行统一的配置处理是个不错的选择。首先在微服务中有一个基础的模块是存放一些基础的,共用的工具,配置,common模块,所有项目都依赖common模块。 首先在服务中appliction-dev.yml中进行配置:logging:path:/yunpan/logs/adminconfig:classpath:logback-spring.xml#logstash连接配置host:port:level:r

从一笔交易充值,考虑到分布式事务处理

此次分享的缘由支付重构考虑支付重构的时候,自然想到原本属于一个本地事务中的处理,现在要跨应用了要怎么处理。拿充值订单举个栗子吧,假设:原本订单模块和账户模块是放在一起的,现在需要做服务拆分,拆分成订单服务,账户服务。原本收到充值回调后,可以将修改订单状态和增加金币放在一个mysql事务中完成的,但是呢,因为服务拆分了,就面临着需要协调2个服务才能完成这个事务。所以就带出来,我们今天要分享和讨论的话题是:怎么解决分布式场景下数据一致性问题,暂且用分布式事务来定义吧。同样的问题还存在于其他的场景:送礼:1.调用支付服务:先扣送礼用户的金币,然后给主播加相应的荔枝2.确认第一步成功后,播放特效,发聊

【从零开始学习Redis | 第六篇】爆改Setnx实现分布式锁

前言:   在Java后端业务中, 如果我们开启了均衡负载模式,也就是多台服务器处理前端的请求,就会产生一个问题:多台服务器就会有多个JVM,多个JVM就会导致服务器集群下的并发问题。我们在这里提出的解决思路是把锁交给Redis来实现,因为Redis是单线程的。而最基础的Redis解决集群模式下的并发问题的核心解决方案是使用Setnx构造分布式锁,下文来让我们详细的看一下过程。目录前言:核心思路: 具体业务逻辑:业务问题解决思路1.选择加锁问题:2.Redis分布式锁的误删问题:3,如何保证删除锁代码的原子性?业务杂项知识点:1.Springmvc中的事务失效引起的并发问题:2.包装类与基本数

大语言模型分布式训练的量化分析与优秀实践,以 GPT-175B 为例

一、Transformer 大语言模型的SOTA训练技术1、大语言模型的发展背景与挑战首先和大家分享下大语言模型的发展背景。过去的几年内,无论从数据量的维度还是从模型规模的维度,语言模型规模都扩大了非常多的数量级。随着数据量和模型规模的扩大,也面临着一些挑战。其中涉及的挑战主要可以分为两部分。首先是计算方面,这里给了一个来自于Megatron论文的公式去计算一个模型训练时需要的计算FLOPS,我们可以简单推算一下,GPT-3175B模型使用现在比较合理的1.5TTokens数据量训练,大概需要128个DGXA100节点(*仅供技术交流使用),共计1024张A100卡(*仅供技术交流使用),在效

分布式版本管理系统---->Git(Linux---centos(保姆式)讲解1)

文章目录:    1:什么是Git以及作用    2.Git的基本操作过程(创建git仓库,配置仓库的配置)    3.git的工作区,暂存区,版本库的关系    4.将文件添加到版本库:gitadd与gitcommit-m命令    5.gitlog查看日志的引入    6.查看.git文件中的内容    7.修改文件内容查看gitdiff与gitdiffHEAD    8.版本回退的概念引入以及命令    9.撤销修改的引入与相关指令操作    10.gitrm删除版本库文件前言:    本文章是讲解Git的相关操作的,深刻理解Git的操作过程与操作,掌握Git企业级的应用,从0开始讲解G

分布式 - 服务器Nginx:基础系列之Nginx静态资源配置优化sendfile | tcp_nopush | tcp_nodelay

文章目录1.sendfile指令2.tcp_nopush指令3.tcp_nodelay指令1.sendfile指令请求静态资源的过程:客户端通过网络接口向服务端发送请求,操作系统将这些客户端的请求传递给服务器端应用程序,服务器端应用程序会处理这些请求,请求处理完成以后,操作系统还需要将处理得到的结果通过网络适配器传递回去。sendfile指令是用于将文件内容发送到客户端的指令。它可以让Nginx直接将文件内容发送给客户端,而不需要将文件内容先读入内存再发送。这样可以减少CPU和内存的使用,提高文件传输的效率。sendfile指令的语法如下:sendfileon|off;默认情况下,sendfi